Suy giảm độ dốc

Suy giảm độ dốc (còn gọi là giảm độ dốc, tiếng Anh: gradient descent) là một thuật toán tối ưu hóa lặp bậc nhất để tìm một cực trị của một hàm khả vi. Để tìm cực tiểu cục bộ của một hàm sử dụng suy giảm độ dốc, người ta có thể thực hiện các bước tỷ lệ thuận với âm của gradient (hoặc độ dốc xấp xỉ) của hàm tại điểm hiện tại. Nhưng nếu thực hiện các bước tương ứng với dương của gradient thì tiếp cận được một cực đại cục bộ của hàm số đó; phương pháp này được gọi là tăng độ dốc (gradient ascent). Nói chung, Augustin-Louis Cauchy được ghi công là người gợi ý về vấn đề suy giảm độ dốc vào năm 1847,[1] nhưng các tính chất hội tụ của nó cho các bài toán tối ưu hóa phi tuyến tính được Haskell Curry nghiên cứu lần đầu tiên năm 1944.[2]

Tài liệu tham khảo

WikiPedia: Suy giảm độ dốc http://neuralnetworksanddeeplearning.com/chap1.htm... http://codingplayground.blogspot.it/2013/05/learni... //doi.org/10.1090%2Fqam%2F10667 //doi.org/10.1093%2Fimanum%2F8.1.141 https://www.youtube.com/watch?v=IHZwWFHWa-w&list=P... https://www.math.uni-bielefeld.de/documenta/vol-is... https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.... https://www.khanacademy.org/math/multivariable-cal... https://commons.wikimedia.org/wiki/Category:Gradie...